Birini-Dışarda-Bırak Çapraz Doğrulama (LOOCV)
Doğrulama verileri yaklaşımına benzer, ancak burada doğrulama
verileri yalnızca bir gözlem içerir
Her bir test gözlemi için, \((x_j,
y_j), : j = 1, 2, \dots, n\) geri kalan \(n-1\) gözlem eğitim seti olarak kullanılır,
ardından \(\hat y_j\) tahmin edilir ve
\(MSE_j = (y_j - \hat y_j)^2\)
hesaplanır
Test hatası MSE’lerinin ortalaması, LOOCV (Leave-One-Out
Cross-Validation) tahminini verir
\(CV_{(n)} =
\frac{1}{n}\sum^n_{i=1}MSE_i\)
Doğrusal model için LOOCV tahmini,
\(mpg_i=\beta_0+\beta_1horsepower_i+\varepsilon_i\)
için: 24.232
- Aşağıdaki grafik, birden ona kadar olan polinom dereceleri için
LOOCV tahminlerini göstermektedir. İkinci dereceden sonra belirgin bir
iyileşme görülmemektedir
Örnekleme (Bootstrap): Örnek (ISLR, page 187)
“Diyelim ki sabit bir miktar para ile, getirileri sırasıyla \(X\) ve \(Y\) olan iki finansal varlığa yatırım
yapmak istiyoruz; burada \(X\) ve \(Y\) rastgele değişkenlerdir. Paramızın
\(\alpha\) oranındaki
kısmını \(X\)’e, kalan \((1 - \alpha)\) kısmını ise \(Y\)’ye yatıracağız.”
Varyans risk ölçütü olarak kullanıldığından, amacımız varyansı
minimize etmek yani \(Var(\alpha X + (1 -
\alpha) Y)\) ifadesini en aza indirmektir. Riski minimize eden
tahmini \(\hat
\alpha\) değeri ise:
\(\hat\alpha = \frac{\hat\sigma^2_Y -
\hat\sigma_{XY}}{\hat\sigma^2_X
+\hat\sigma^2_Y-2\hat\sigma_{XY}}\)
| 1 |
0.4483 |
| 2 |
0.5609 |
| 3 |
0.5053 |
| 4 |
0.6836 |
| 5 |
0.6108 |
| 6 |
0.5820 |
| 7 |
0.5013 |
| 8 |
0.5379 |
| 9 |
0.6151 |
| 10 |
0.5374 |
ORDINARY NONPARAMETRIC BOOTSTRAP
Call:
boot(data = Portfolio, statistic = statistic, R = 1000)
Bootstrap Statistics :
original bias std. error
t1* 0.5758321 0.004719558 0.09020046
Örnekleme (Bootstrap) Regresyon Örneği
AER paketindeki ücret ve eğitim (wage and education)
verilerini kullanarak doğrusal regresyon modeli oluşturabiliriz
Veri, \(wage, education, experience,
ethnicity\) değişkenlerine sahip olduğundan temel modeli şu
şekilde kurgulayabiliriz:
\(ln(wage)=\beta_0 + \beta_1 \: experience+
\beta_2 \: experience^2 + \beta_3 \: education + \beta_4 \: ethnicity +
\varepsilon\)
- En düşük kareler tahmini:
Call:
lm(formula = log(wage) ~ experience + I(experience^2) + education +
ethnicity, data = CPS1988)
Residuals:
Min 1Q Median 3Q Max
-2.9428 -0.3162 0.0580 0.3756 4.3830
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.321e+00 1.917e-02 225.38 <2e-16 ***
experience 7.747e-02 8.800e-04 88.03 <2e-16 ***
I(experience^2) -1.316e-03 1.899e-05 -69.31 <2e-16 ***
education 8.567e-02 1.272e-03 67.34 <2e-16 ***
ethnicityafam -2.434e-01 1.292e-02 -18.84 <2e-16 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.5839 on 28150 degrees of freedom
Multiple R-squared: 0.3347, Adjusted R-squared: 0.3346
F-statistic: 3541 on 4 and 28150 DF, p-value: < 2.2e-16
Regresyon Katsayısı CI
|
Değişken
|
2.5%
|
97.5%
|
|
(Intercept)
|
4.28381
|
4.35898
|
|
experience
|
0.07575
|
0.07920
|
|
I(experience^2)
|
-0.00135
|
-0.00128
|
|
education
|
0.08318
|
0.08817
|
|
ethnicityafam
|
-0.26868
|
-0.21804
|
- Örnekleme (Bootstrapped) tahminlerinin güvenlik aralığı (1000
bootstrap tekrarı ile):
Örnekleme (Bootstrapped) Regresyon Katsayıları CI
|
Değişken
|
2.5%
|
97.5%
|
|
(Intercept)
|
4.28110
|
4.36191
|
|
experience
|
0.07548
|
0.07948
|
|
I(experience^2)
|
-0.00136
|
-0.00127
|
|
education
|
0.08297
|
0.08836
|
|
ethnicityafam
|
-0.26951
|
-0.21739
|
